最近在自动手语理解中的具有挑战性的任务（例如手语识别，翻译和生产）方面取得了重大进展。但是，这些作品集中在相对较少的样本，简短录音以及有限的词汇和签名空间的数据集上。在这项工作中，我们介绍了手语主题检测的新颖任务。我们基于跨越多个语义域的大规模视频数据集的2sign的实验。我们为主题检测的任务提供了强大的基础，并在手语领域常用的不同视觉特征之间进行了比较。
translated by 谷歌翻译
This paper describes the system developed at the Universitat Polit\`ecnica de Catalunya for the Workshop on Machine Translation 2022 Sign Language Translation Task, in particular, for the sign-to-text direction. We use a Transformer model implemented with the Fairseq modeling toolkit. We have experimented with the vocabulary size, data augmentation techniques and pretraining the model with the PHOENIX-14T dataset. Our system obtains 0.50 BLEU score for the test set, improving the organizers' baseline by 0.38 BLEU. We remark the poor results for both the baseline and our system, and thus, the unreliability of our findings.
translated by 谷歌翻译
我们提出了MDEAW，这是一个多模式数据库，该数据库由电动活动（EDA）和光摄影学（PPG）信号组成，在考试期间记录了巴塞罗那萨巴德尔（Eurecat Academemy）的老师教师教授的课程，以引起对学生对学生对情感反应的情感反应。课堂场景。以6种基本的情感状态来记录了10名学生的信号以及学生对每个刺激后对情感状态的自我评估。所有信号均使用便携式，可穿戴，无线，低成本和现成的设备捕获，该设备有可能在日常应用中使用情感计算方法。使用基于EDA和PPG的功能及其融合的学生识别的基线是通过remecs，fed-emecs和fed-emecs-u建立的。这些结果表明，使用低成本设备进行情感状态识别应用的前景。提出的数据库将公开可用，以使研究人员能够对这些捕获设备对情绪状态识别应用的适用性进行更透彻的评估。
translated by 谷歌翻译
我们提出了COGS，这是一种新颖的方法，用于图像的样式条件，素描驱动的合成。 COGS可以为给定的草图对象探索各种外观可能性，从而对输出的结构和外观进行了脱钩的控制。通过输入草图和基于变压器的草图和样式编码器的示例“样式”调理图像启用了对物体结构和外观的粗粒粒度控制，以生成离散的代码簿表示。我们将代码簿表示形式映射到度量空间中，从而在通过量化量化的GAN（VQGAN）解码器生成图像之前，可以对多个合成选项之间的选择和插值进行细粒度的控制和插值。我们的框架因此统一了搜索和综合任务，因为草图和样式对可以用于运行初始合成，该合成可以通过结合结合在搜索语料库中结合使用，以使图像更加与用户的意图更匹配。我们表明，我们的模型对新创建的Pseudosketches数据集的125个对象类培训，能够生产出多种语义内容和外观样式的范围。
translated by 谷歌翻译